
 
 
 
 
 
 
 
 
 
 Autorii : (1) Vishaal Udandarao, Tubingen AI Center, Universitatea din Tubingen, Universitatea din Cambridge, și o contribuție egală; (2) Ameya Prabhu, Tubingen AI Center, Universitatea din Tubingen, Universitatea din Oxford, și o contribuție egală; (3) Adhiraj Ghosh, Tubingen AI Center, Universitatea din Tubingen; (4) Yash Sharma, Tubingen AI Center, Universitatea din Tubingen; Philip H.S. Torr, Universitatea din Oxford Adel Bibi, Universitatea din Oxford (7) Samuel Albanie, Universitatea din Cambridge și consiliere egală, ordinea hotărâtă printr-o întoarcere de monedă; (8) Matthias Bethge, Tubingen AI Center, Universitatea din Tubingen și consiliere egală, ordinea hotărâtă printr-o întoarcere de monedă. Authors: (1) Vishaal Udandarao, Tubingen AI Center, Universitatea din Tubingen, Universitatea din Cambridge, și o contribuție egală; (2) Ameya Prabhu, Tubingen AI Center, Universitatea din Tubingen, Universitatea din Oxford, și o contribuție egală; (3) Adhiraj Ghosh, Tubingen AI Center, Universitatea din Tubingen; (4) Yash Sharma, Tubingen AI Center, Universitatea din Tubingen; Philip H.S. Torr, Universitatea din Oxford Adel Bibi, Universitatea din Oxford (7) Samuel Albanie, Universitatea din Cambridge și consiliere egală, ordinea hotărâtă printr-o întoarcere de monedă; (8) Matthias Bethge, Tubingen AI Center, Universitatea din Tubingen și consiliere egală, ordinea hotărâtă printr-o întoarcere de monedă. Tabelul din stânga Abstract și 1. introducere 2 Concepte în prelucrarea datelor și cuantificarea frecvenței Compararea frecvenței de pre-antrenament și a performanței „zero-shot” și a setării experimentale 3.1 3.2 Rezultatul: Frecvența de pre-antrenament este predictivă a performanței „Zero-Shot” 4 Testarea stresului pentru tendința de scalare a frecvenței-performanță a conceptului și 4.1 Controlul pentru eșantioane similare în datele de pre-formare și în aval 4.2 Generalizarea de testare la concepte și distribuții de date pur sintetice 5 perspective suplimentare din frecvențele de pre-antrenament 6 Testarea cozii: Lăsați-o să cântărească! 7 Lucrări conexe 8 Concluzii și probleme deschise, recunoașteri și referințe Part I Appendix A. Frecvența conceptului este predictivă a performanței în cadrul strategiilor de promptare B. Frecvența conceptului este predictivă a performanței în cadrul metricilor de recuperare C. Frecvența conceptului este predictivă a performanței pentru modelele T2I D. Frecvența conceptului este predictivă a performanței în cadrul conceptelor numai din domeniile imaginii și textului E. Detalii experimentale De ce și cum folosim RAM++? G. Detalii despre rezultatele gradului de dezechilibru H. T2I Modele: Evaluare I. Rezultatele clasamentului: Lăsați-l să cântărească! abstractă Seturile de date de pre-formare crawlate pe web stau la baza performanței impresionante de evaluare „zero-shot” a modelelor multimodale, cum ar fi CLIP pentru clasificare/recuperare și Stable-Diffusion pentru generarea de imagini. este pentru astfel de modele multimodale, deoarece nu se știe în ce măsură seturile lor de date de pre-antrenament cuprind conceptele din aval vizate în timpul evaluării „zero-shot”. Generalizare Cum este influențată performanța modelelor multimodale asupra conceptelor din aval de frecvența acestor concepte în seturile de date de pre-formare? Investigăm în mod cuprinzător această întrebare în 34 de modele și cinci seturi de date standard de pre-antrenament (CC-3M, CC-12M, YFCC-15M, LAION-400M, LAION-Aesthetics), generând peste 300GB de artefacte de date. Am constatat în mod constant că, departe de a prezenta generalizarea „zero-shot”, modelele multimodale necesită în mod exponențial mai multe date pentru a obține îmbunătățiri lineare în performanța „zero-shot” din aval, urmând o tendință de scalare log-lineară ineficientă a eșantionului. Această tendință persistă chiar și atunci când se verifică similitudinea la nivel de eșantion între seturile de date de pre-antrenament și cele din aval [79], și Luate împreună, studiul nostru dezvăluie o nevoie exponențială de date de formare care implică faptul că cheia pentru capacitățile de generalizare „zero-shot” în cadrul paradigmelor de formare la scară largă rămâne de găsit. Lasă să cântărească! 1 Introducere Modelele multimodale, cum ar fi CLIP [91] și Stable Diffusion [96], au revoluționat performanța la sarcinile din aval – CLIP este acum standardul de facto pentru recunoașterea imaginii „zero-shot” [133, 72, 126, 48, 132] și recuperarea textului imaginii [46, 64, 24, 117, 129], în timp ce Stable Diffusion este acum standardul de facto pentru generația „zero-shot” text-to-image (T2I) [93, 17, 96, 41]. În această lucrare, investigăm acest succes empiric prin obiectivul generalizării zero-shot [69], care se referă la capacitatea modelului de a aplica cunoștințele învățate noilor concepte nevăzute. Sunt modelele multimodale actuale cu adevărat capabile de generalizare „zero-shot”? Pentru a aborda acest lucru, am efectuat o analiză comparativă care implică doi factori principali: (1) performanța modelelor în cadrul diferitelor sarcini în aval și (2) frecvența conceptelor de testare în cadrul seturilor de date de pre-formare. Am compilat o listă cuprinzătoare de 4 029 de concepte[1] din 27 de sarcini în aval care cuprind clasificarea, recuperarea și generarea de imagini, evaluând performanța față de aceste concepte. Analiza noastră a cuprins cinci seturi de date de pre-formare la scară largă cu diferite scale, metode de curățare a datelor și surse (CC-3M [107], CC-12M [27], YFCC-15M [113], LAION-Aesthetics [103], LAION-400M [102]) și a evaluat performanța   Am constatat că această tendință log-lineară este robustă pentru a controla factorii corelați (eșantioane similare în datele de pre-formare și testare [79]) și pentru a testa în diferite distribuții de concept, împreună cu eșantioane generate în întregime sintetic [51]. Modelul de performanță scalează liniar pe măsură ce frecvența conceptului în datele de pre-antrenare crește exponențial I. și Modelul de performanță scalează liniar pe măsură ce frecvența conceptului în datele de pre-antrenare crește exponențial Rezultatele noastre indică faptul că performanța empirică impresionantă a modelelor multimodale, cum ar fi CLIP și Stable Diffusion, poate fi atribuită în mare măsură prezenței conceptelor de testare în cadrul vastelor lor seturi de date de pre-formare, astfel încât performanța lor raportată nu constituie o generalizare „zero-shot”. În analiza noastră, documentăm în plus distribuția conceptelor întâlnite în datele de pre-formare și găsim că: În toate seturile de date de pre-antrenament, distribuția conceptelor este lungă (vezi Figura 5 din Secțiunea 5), ceea ce indică faptul că o mare fracțiune de concepte sunt rare. • Concept Distribution: Distribuția conceptelor pe diferite seturi de date de pre-antrenament sunt puternic corelate (a se vedea Tabelul 4 în Secțiunea 5), ceea ce sugerează crawl-urile web produc distribuții de concepte surprinzător de similare pe diferite strategii de curățare a datelor de pre-antrenament, necesitând eforturi explicite de reechilibrare [11, 125]. • Concept Correlation across Pretraining Datasets: Conceptele apar adesea într-o modalitate, dar nu în cealaltă, ceea ce implică o dezaliniere semnificativă (vezi Tabelul 3 din Secțiunea 5).Artifactele noastre de date publicate pot ajuta eforturile de aliniere a imaginii cu textul la scară, indicând cu precizie exemplele în care modalitățile se dezalinează. • Image-Text Misalignment between Concepts in Pretraining Data: Pentru a oferi o referință simplă pentru performanța de generalizare pentru modelele multimodale, care controlează frecvența conceptului în setul de instruire, introducem un nou set de date de testare cu coadă lungă numit Modelele actuale instruite atât pe seturi de date disponibile în mod deschis (de exemplu, LAION-2B [103], DataComp-1B [46]) cât și pe seturi de date cu sursă închisă (de exemplu, OpenAI-WIT [91], WebLI [29]) au scăzut semnificativ în performanță, furnizând dovezi că observațiile noastre pot fi transferate și la seturi de date cu sursă închisă. „Lăsați-l să cântărească!” Mai multe lucrări anterioare [91, 46, 82, 42, 83, 74] au investigat rolul datelor de pre-antrenament în influențarea performanței. Mayilvahanan et al. [79] au arătat că performanța CLIP este corelată cu similitudinea dintre seturile de date de formare și de testare. În alte studii privind domenii specifice, cum ar fi răspunsul la întrebări [62] și raționamentul numeric [94] în modelele lingvistice mari, similitudinea seturilor de testare înaltă nu a luat în considerare pe deplin nivelurile de performanță observate [127]. Analiza noastră cuprinzătoare a mai multor seturi de date de imagine-text pre-antrenament adaugă în mod semnificativ la această linie de lucru, (1) arătând că frecvența conceptului determin 
 
 Acest document este disponibil în arhivă sub licența CC BY 4.0 DEED. Acest document este disponibil în arhivă sub licența CC BY 4.0 DEED. Disponibil în arhivă [1] Categorii de clasă pentru activitățile de clasificare, obiecte în titlurile de text pentru activitățile de recuperare și obiecte în solicitările de text pentru activitățile de generare, consultați Secțiunea 2 pentru mai multe detalii despre modul în care definim conceptele.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Acest audio este produs în limba originală a poveștii!

Ce 300GB de cercetare AI dezvăluie despre adevăratele limite ale inteligenței "zero-shot"

About Author

COMENTARII

Etichete suspendate

ACEST ARTICOL A FOST PREZENTAT IN

Related Stories

Design Shifts at HackerNoon: Streamlined Top Nav, Quick Search and Settings Dashboard 🚀

The Spacecoin Writing Contest by Spacecoin and HackerNoon: Round 1 Results 🎉

The TechBeat: Digital Transformation Success Stories in Mezzanine Lending (2/28/2024)

The World is Finally Ready for a New Internet

Design Shifts at HackerNoon: Streamlined Top Nav, Quick Search and Settings Dashboard 🚀

The Spacecoin Writing Contest by Spacecoin and HackerNoon: Round 1 Results 🎉

The TechBeat: Digital Transformation Success Stories in Mezzanine Lending (2/28/2024)

The World is Finally Ready for a New Internet

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps